Communicating with Humans and Robots: A Motion Tracking Data Glove for Enhanced Support of Deafblind

In this work, we discuss the design and development of a communication system for enhanced support of the deafblind. The system is based on an advanced motion tracking Data Glove that allows for high fidelity determination of finger postures with consequent identification of the basic Malossi alphabet signs. A natural, easy-to-master alphabet extension that supports single-hand signing without touch surface sensing is described, and different scenarios for its use are discussed. The focus is on using the extended Malossi alphabet as a communication medium in a Data Glove-based interface for remote messaging and interactive control of mobile robots. This may be of particular interest to the deafblind community, where distant communications and robotized support and services are rising. The designed Data Glove-based communication interface requires minimal adjustments to the Malossi alphabet and can be mastered after a short training period. The natural interaction style supported by the Data Glove and the popularity of the Malossi alphabet among the deafblind should greatly facilitate the wider adoption of the developed interface

Action depiction in Italian Sign Language: a developmental perspective.

Sign languages can depict a physical action incorporating one or more arguments (e.g. object and/or instrument) or the way the action is performed. The use of depicting strategies in signed predicates is based on a cognitive mapping mechanism that blends formal properties of the signs and the representation of a certain event (Liddell 2003, Erlenkamp 2009). For this reason, addressing the iconic strategies underlying signs could provide us new insight on the cognitive background of meaning construction in sign languages. A central question among different tradition of studies (studies on symbol development, communicative gestures and sign language) is if during gestures or signs execution the body/hands represent real actions in the physical world taking a character viewpoint (i.e., how an action is performed by the agent with the entire body or how an object is held/used only by the hand) or represent other elements from an observer viewpoint (e.g., the object itself or its size and shape). The representational strategies for depicting events make visible different types of embodied practices and suggest a shared cognitive basis recruited by both gestural systems and language. The present study aims to address the use of representational strategies in Italian Sign Language (LIS) in actions depicting, with a special focus on the comparison between adults and children. This study will present data collected from 10 deaf signing adults and 24 deaf signing children divided in an older group (13; range 8 - 11 years) and a younger group (11; range 4 – 7 years). 27 different videos (extracted from the IMAGACT Database) referring to specific action types have been shown to participants that were asked to describe in LIS the action performed in each video clip. The different symbolic representational strategies used by participants have been coded according to the following labels: own body, hand as object, hand as hand, size and shape and double strategies (e.g. participants use two out of the four strategies to describe the action). The results indicated that all strategies have been found except for size and shape (Figure1). The differences between the three groups were investigated with non-parametric statistics (Mann-Whitney U test). With respect to both groups of children, adults used hand as object strategy significantly more frequently (z=-2,610; p<.01 and z=-3,570; p<.001 for younger and older children, respectively), and hand as hand strategy less frequently (z=-2,078; p=.04, and z=-2,486; p=.01 for younger and older children, respectively). The significant difference in the use of hand as object could be caused by a different degree of cognitive and linguistic complexity comparing to hand as hand (Taub 2001). In the latter case children replicate a motor action of their repertoire handling an imagined object while in the use of hand as object strategy their hand has to match a mental imagery of the object to be represented. Our results suggest a possible developmental trajectory from own body and hand as hand toward hand as object strategy

Lettura e sordità: eye tracking in lettori sordi con storie linguistiche diverse.

The present study is aimed at investigating, using an eye tracking tool, the processes behind the exploration of written texts performed by deaf people with different language skills and different education stories. Our sample is composed of 36 deaf participants (in particular: 12 using Italian Sign Language most of the time, 12 using Italian only and 12 which can use both languages) and 12 hearing participants which can't understand any sign language. This research shows how the different education stories and the reading habits are linked to the discriminant variable in reading texts, for what concerns oculomotor movements

PREMIO DON GIULIO TARRA: RICERCHE E STUDI PER LA SORDITA'

L'educazione linguistica dei sordi, con particolare riferimento alla ricerca di tecniche e strategie per migliorare la loro competenza linguistica, è stata la sfida che ha appassionato i grandi maestri del passato da Pedro Ponce de Leon all’Abate de l’Epée, a Tommaso Silvestri. Fino a qualche decennio fa questa problematica veniva superata in molte scuole speciali sostituendo il libro di testo con un quadernone degli appunti, in cui il docente proponeva riassunti molto semplici supportati da immagini e disegni, rinunciando di fatto ad intervenire sulle difficoltà linguistiche degli allievi con la conseguenza di rafforzare in loro la convinzione che il testo scritto fosse troppo difficile da leggere. In anni successivi si è diffusa la consapevolezza che il libro non dovesse essere abbandonato in quanto valido supporto per lo sviluppo di una buona competenza linguistica in Italiano a prescindere dal grado e tipo di sordità e dalla storia educativa e familiare. La volontà di non abbandonare il libro di testo, unita però alla necessità di riuscire a seguire i ritmi della classe, ha portato molti insegnanti e assistenti alla comunicazione ad utilizzare con i loro alunni sordi strategie di semplificazione. Individuare cioè all’interno di un testo le parole o le frasi troppo difficili e sostituirle, con vocaboli di uso più comune o parafrasi più semplici, operando con la matita sul libro stesso. Una tecnica corretta che però ha in sé il grande rischio di impoverire il testo, soprattutto se poi le parole o le costruzioni semplificate non vengono più riprese e utilizzate. Oggi la multimedialità ha aperto nuove prospettive prima inimmaginabili, consentendo alle persone sorde di vedere il significato di parole e frasi cliccando sulla parola stessa, lasciando quindi il testo autentico ma facilitato. Questo libro vuole proporre al lettore percorsi metodologici e unità didattiche multimediali innovative basate sulla strategia della facilitazione, pur non trascurando esempi di didattica tradizionale. Si rivolge agli insegnanti curricolari, di sostegno e assistenti alla comunicazione che lavorano con apprendenti sordi soprattutto nella scuola secondaria di primo grado. Ogni capitolo del volume è costituito da una prima parte teorica in cui viene approfondita la tematica presa in esame, seguita poi da una parte operativa in cui vengono offerti al lettore strumenti pratici per lavorare in aula. In questo modo il sapere diventa saper fare nella consapevolezza che la sordità può essere una risorsa per tutta la classe: visualizzare una lezione facilita la comprensione non solo all’apprendente sordo, ma anche ai compagni udenti. Il libro nasce dal felice incontro tra docenti di lunga esperienza e giovani ricercatori che, seguendo il modello dell’embodied cognition, dello story telling e applicando strategie di facilitazione sul testo, hanno fatto propria la sfida di migliorare attraverso le nuove tecnologie la competenza linguistica e l’accesso al libro da parte degli alunni sordi. Il volume infatti fa riferimento in molte parti a quanto è stato sperimentato nel progetto MIUR Firb- Visel (www.visel.cnr.it), ideato e fortemente voluto da Elena Antinoro Pizzuto ricercatrice dell’ISTC CNR prematuramente scomparsa, a cui va tutta la gratitudine delle autrici. È dedicato a tutti coloro che cercano suggerimenti, strategie didattiche ed esempi concreti per fare scuola in modo da incidere sulle conoscenze linguistiche e scolastiche dei loro alunni sordi

Reading and deafness: eye tracking in deaf readers with different linguistic background

The aim of this study was to investigate, using an eye tracking tool, the processes behind the exploration of written texts performed by deaf people with different language skills and different educational backgrounds. Our sample comprised 36 deaf participants (12 of whom use Italian Sign Language most of the time, 12 who use Italian only and 12 who can use both languages) and 12 hearing participants who could not understand any sign language. This research shows how, in respect of oculomotor movements, the discriminant variable is linked to the different educational backgrounds and the reading habits of participants

4° Convegno Nazionale LIS (Lingua italiana dei segni)

Questo studio è stato realizzato mediante l'utilizzo di un eye tracker: l’eye traker è uno strumento in grado di registrare il tracciamento oculare e l’intero percorso effettuato dall’occhio durante la visione. Tale studio dimostra come il background educativo e l'abitudine alla lettura di persone sorde, siano le variabili che influiscono maggiormente sui comportamenti oculomotori in persone sorde durante la lettura di testi composti da immagini e parole. Il campione della ricerca è composto da 4 gruppi: 12 sordi bilingui (LIS/Italiano); 12 sordi “segnanti tardivi” figli di genitori udenti che hanno appreso la LIS solo dopo i 6 anni; 12 sordi monolingui (solo Italiano) che non conoscono la LIS con genitori udenti; 12 udenti non segnanti come gruppo di controllo. Ciascuno dei 4 gruppi è stato ulteriormente suddiviso in due sottogruppi: 6 lettori abituali (LA) e 6 lettori non abituali (LNA). Su uno schermo da computer sono stati proiettati 4 stimoli visivi ordinati da quello con più testo che immagini a quello con meno testo e più immagini: una breve favola di Gianni Rodari, una pagina internet presa da Repubblica.it, un fumetto dei Peanuts e una striscia a fumetti composta di sole immagini e durante la lettura sono stati registrati gli spostamenti degli occhi di ogni partecipante. I risultati ottenuti si sono rivelati omogenei in tutti i gruppi di lettori abituali per quanto riguarda la durata media delle fissazioni oculari (eccetto che per il gruppo di segnanti tardivi). Questi dati dimostrano come l'esposizione precoce ad una lingua appresa in un contesto naturale e a testi scritti siano due variabili necessarie allo sviluppo di una facoltà linguistica ricettiva come quella della lettura. Vale a dire che ciò che veramente fa la differenza, oltre all’apprendimento precoce e competente di una lingua (sia essa LIS o Italiano), è l’esposizione precoce al testo scritto e l’abitudine alla lettura

Introduzione a "Una didattica innovativa per l\u27apprendente sordo"

-A pi? di trent\u27anni dalla L.517/77, questo libro si interroga sul processo di integrazione degli alunni sordi in uno sfondo normativo che tiene conto della nuova prospettiva di diversit? promossa dalla Convenzione ONU per i Diritti delle Persone con Disabilit?, ratificata dal Parlamento Italiano con la Legge n.18/2009. In questa prospettiva la lingua dei segni (nel nostro caso, in Italia, LIS), diventa una risorsa importante accanto alla lingua vocale nella crescita non solo dell\u27alunno sordo ma anche dell\u27alunno udente attraverso il lavoro dell\u27assistente alla comunicazione a cui ? assegnata la regia di un processo di integrazione fondato sulla diversit?. Nei vari percorsi didattici proposti in questo libro si promuove con forza il bilinguismo come arricchimento indispensabile in termini di dimensioni espressive, accessibili e sociali. La scuola, pertanto, diventa un laboratorio di differenze attraverso cui ? possibile liberarsi di una visione di normalit? che ci impedisce di vedere ed accogliere l\u27altro nella sua specificit? e ricchezza. Lo spirito della Convenzione si riflette in altri documenti istituzionali come ad esempio le Linee Guida per l\u27Integrazione Scolastica degli alunni con Disabilit? del MIUR che ribadiscono con forza di andare oltre la normalizzazione come unico orizzonte possibile utilizzando tutti i percorsi e/o gli strumenti possibili per garantire l\u27autonomia, l\u27accessibilit? e le pari opportunit?. Tutto questo si pu? costruire, attraverso vari percorsi, ma solo a partire dal riconoscimento dei veri bisogni dei bambini sordi. Le molteplici dimensioni educative di questo libro si fondano sulle specificit? dell\u27essere sordi intorno alle quali si struttura un modello che possa rispondere ai bisogni educativi speciali e al contempo valorizzare il ruolo sia della lingua dei segni, sia della lingua vocale nel percorso di crescita dell\u27alunno sordo. Questo ? possibile soltanto se si parte dall\u27esperienza e se, andando oltre ogni controversia, si costruiscono modelli dopo aver intercettato i bisogni e analizzato il profilo individuale di ciascun bambino. Le autrici partendo, quindi, da un bagaglio pluriennale di esperienze maturate da prospettive diverse, sottolineano implicitamente il rischio di una tendenza sin troppo generalizzata e cio? quella di reificare i modelli. Sentiamo dire spesso: "il bambino non ce la fa, forse c\u27? qualche altro problema" ma mai "il modello non funziona, ripensiamo il modello". Questo rischio si nasconde, inevitabilmente nella diversa lettura che si fa della sordit?, che ?, lo ricordiamo, una disabilit? sensoriale, ma che troppo spesso, per il ruolo pervasivo e trasversale che ha la lingua vocale nella quotidianit?, viene trasformata in altro (ad esempio in ritardo cognitivo). Il risultato ? inquadrare un bambino sordo che ha difficolt? di accesso puramente linguistiche come un bambino con un ritardo cognitivo che ha altri bisogni specifici, impedendo il pieno sviluppo delle sue potenzialit?. Nel libro, le autrici propongono una molteplicit? di percorsi possibili in relazione a diversi ambiti disciplinari, che nascono dall\u27aver toccato con mano i bisogni e le inadeguatezze del sistema e nello stesso tempo la straordinaria ricchezza che si nasconde dietro la diversit?. In quest\u27ottica, il processo di integrazione coinvolge un lavoro di rete tra vari attori (assistente alla comunicazione, insegnanti di sostegno, insegnanti curriculari, gruppo dei pari e famiglia) che ? tanto fondamentale quanto difficile. Inquadrando con lucidit?, chiarezza e sistematicit? i ruoli di ognuno nella rete, le autrici forniscono un prezioso strumento a supporto di un\u27utenza complessa composta da dirigenti, da docenti curriculari o di sostegno, dai assistenti alla comunicazione, ma anche da genitori, da centri di riabilitazione per citarne solo alcuni. Questo libro diventa allora da una parte un momento di riflessione sulle buone prassi, sui percorsi didattici e metodologici che hanno funzionato, dall\u27altra ? un punto di partenza per raccogliere i risultati della sfida della Convenzione ONU e censirne le criticit?. Oggi, per?, ? fondamentale chiedersi: La scuola ? pronta a raccogliere questa sfida? ? pronta ad ascoltare e entrare in rete con le famiglie? ? capace di ripensarsi a partire dalla diversit? come risorsa? Noi pensiamo di s?. Anzi, noi condividiamo con le autrici la convinzione che la scuola possa svolgere un ruolo trainante nel promuovere e nell\u27affermare la nuova prospettiva di diversit? non pi? come malattia da curare ma come diversit? da riconoscere nelle sue specificit? e risorse e intorno alla quale ripensare la societ?. In quest\u27ottica, ci preme svelare un\u27ulteriore fondamentale dimensione in linea con il concetto di accomodamento ragionevole, cio? del ripensarsi della societ? intorno alla diversit?, promosso dalla Convenzione. ? importante sottolineare che le proposte didattiche e metodologiche delle autrici partono dai bisogni specifici degli alunni sordi ma, in realt?, servono a tutti, anche agli alunni cosiddetti normodotati. Paradossalmente, forse, ? soltanto quando siamo costretti a ripensare gli approcci intorno a bisogni specifici che vediamo quanto la didattica sia incancrenita e abbia perso quel vigore motivante e quell\u27impulso vitale che creano le condizioni per l\u27apprendimento. Questo libro ? quindi per tutti gli alunni e realizza emblematicamente un percorso inverso: i sordi ci costringono a vedere il mondo secondo prospettive che altrimenti noi ignoreremmo e per questo ci arricchiscono di una dimensione che diversamente sarebbe invisibile. Solo, per?, se siamo disposti ad ascoltarli

The representation of action in Italian Sign Language (LIS)

The present study investigates the types of verb and symbolic representational strategies used by 10 deaf signing adults and 13 deaf signing children who described in Italian Sign Language 45 video clips representing nine action types generally communicated by five general verbs in spoken Italian. General verbs, in which the same sign was produced to refer to several different physical action types, were rarely used by either group of participants. Both signing children and adults usually produced specific depicting predicates by incorporating, through a representational strategy, the object and/or the modality of the action into the sign. As for the different types of representational strategies, the adults used the hand-as-object strategy more frequently than the children, who, in turn, preferred to use the hand-as-hand strategy, suggesting that different degrees of cognitive complexity are involved in these two symbolic strategies. Addressing the symbolic iconic strategies underlying sign formation could provide new insight into the perceptual and cognitive processes of linguistic meaning construction. The findings reported here support two main assumptions of cognitive linguistics applied to sign languages: there is a strong continuity between gestures and language; lexical units and depicting constructions derive from the same iconic core mechanism of sign creation